<!doctype html>



  


<html class="theme-next mist use-motion" lang="zh-Hans">
<head>
  <meta charset="UTF-8"/>
<meta http-equiv="X-UA-Compatible" content="IE=edge" />
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1"/>



<meta http-equiv="Cache-Control" content="no-transform" />
<meta http-equiv="Cache-Control" content="no-siteapp" />












  
  
  <link href="/lib/fancybox/source/jquery.fancybox.css?v=2.1.5" rel="stylesheet" type="text/css" />




  
  
  
  

  
    
    
  

  

  

  

  

  
    
    
    <link href="//fonts.googleapis.com/css?family=Lato:300,300italic,400,400italic,700,700italic&subset=latin,latin-ext" rel="stylesheet" type="text/css">
  






<link href="/lib/font-awesome/css/font-awesome.min.css?v=4.6.2" rel="stylesheet" type="text/css" />

<link href="/css/main.css?v=5.1.0" rel="stylesheet" type="text/css" />


  <meta name="keywords" content="jenkins,docker,mesos,dcos,marathon,Nginx,Gitlab,蓝绿部署,金丝雀部署,AB测试,灰度发布,Canary," />








  <link rel="shortcut icon" type="image/x-icon" href="/favicon.ico?v=5.1.0" />






<meta name="description" content="在软件自动化过程中，特别是敏捷开发及DevOps领域，自动部署是一个非常重要的环节。单一系统的部署与系统所采用的技术有很大的关系，通常会有对应的解决方案。但随着应用系统的复杂度不断增加，用户对系统服务持续在线的要求越来越高，同时系统也在不断向规模化，集群化方向扩展，人工部署的模式再也无法满足业务的需求。">
<meta property="og:type" content="article">
<meta property="og:title" content="在DC/OS集群中实现AB测试和灰度发布">
<meta property="og:url" content="http://chrisrc.me/2017/01/25/continuos-deploy-on-dcos/index.html">
<meta property="og:site_name" content="山中，山外与俯瞰">
<meta property="og:description" content="在软件自动化过程中，特别是敏捷开发及DevOps领域，自动部署是一个非常重要的环节。单一系统的部署与系统所采用的技术有很大的关系，通常会有对应的解决方案。但随着应用系统的复杂度不断增加，用户对系统服务持续在线的要求越来越高，同时系统也在不断向规模化，集群化方向扩展，人工部署的模式再也无法满足业务的需求。">
<meta property="og:image" content="http://chrisrc.me/images/blue_green_deployments.png">
<meta property="og:image" content="http://chrisrc.me/images/canary-release-1.png">
<meta property="og:image" content="http://chrisrc.me/images/canary-release-2.png">
<meta property="og:image" content="http://chrisrc.me/images/canary-release-3.png">
<meta property="og:updated_time" content="2017-01-25T06:14:18.000Z">
<meta name="twitter:card" content="summary">
<meta name="twitter:title" content="在DC/OS集群中实现AB测试和灰度发布">
<meta name="twitter:description" content="在软件自动化过程中，特别是敏捷开发及DevOps领域，自动部署是一个非常重要的环节。单一系统的部署与系统所采用的技术有很大的关系，通常会有对应的解决方案。但随着应用系统的复杂度不断增加，用户对系统服务持续在线的要求越来越高，同时系统也在不断向规模化，集群化方向扩展，人工部署的模式再也无法满足业务的需求。">
<meta name="twitter:image" content="http://chrisrc.me/images/blue_green_deployments.png">



<script type="text/javascript" id="hexo.configurations">
  var NexT = window.NexT || {};
  var CONFIG = {
    root: '/',
    scheme: 'Mist',
    sidebar: {"position":"left","display":"post"},
    fancybox: true,
    motion: true,
    duoshuo: {
      userId: '0',
      author: '博主'
    },
    algolia: {
      applicationID: '',
      apiKey: '',
      indexName: '',
      hits: {"per_page":10},
      labels: {"input_placeholder":"Search for Posts","hits_empty":"We didn't find any results for the search: ${query}","hits_stats":"${hits} results found in ${time} ms"}
    }
  };
</script>



  <link rel="canonical" href="http://chrisrc.me/2017/01/25/continuos-deploy-on-dcos/"/>





  <title> 在DC/OS集群中实现AB测试和灰度发布 | 山中，山外与俯瞰 </title>
</head>

<body itemscope itemtype="http://schema.org/WebPage" lang="zh-Hans">

  










  
  
    
  

  <div class="container one-collumn sidebar-position-left page-post-detail ">
    <div class="headband"></div>

    <header id="header" class="header" itemscope itemtype="http://schema.org/WPHeader">
      <div class="header-inner"><div class="site-meta ">
  

  <div class="custom-logo-site-title">
    <a href="/"  class="brand" rel="start">
      <span class="logo-line-before"><i></i></span>
      <span class="site-title">山中，山外与俯瞰</span>
      <span class="logo-line-after"><i></i></span>
    </a>
  </div>
  <p class="site-subtitle">一次永不停止的探索之旅</p>
</div>

<div class="site-nav-toggle">
  <button>
    <span class="btn-bar"></span>
    <span class="btn-bar"></span>
    <span class="btn-bar"></span>
  </button>
</div>

<nav class="site-nav">
  

  
    <ul id="menu" class="menu">
      
        
        <li class="menu-item menu-item-home">
          <a href="/" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-home"></i> <br />
            
            首页
          </a>
        </li>
      
        
        <li class="menu-item menu-item-dcos">
          <a href="/dcos" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-book"></i> <br />
            
            DC/OS
          </a>
        </li>
      
        
        <li class="menu-item menu-item-categories">
          <a href="/categories" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-th"></i> <br />
            
            分类
          </a>
        </li>
      
        
        <li class="menu-item menu-item-about">
          <a href="/about" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-user"></i> <br />
            
            关于
          </a>
        </li>
      
        
        <li class="menu-item menu-item-archives">
          <a href="/archives" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-archive"></i> <br />
            
            归档
          </a>
        </li>
      
        
        <li class="menu-item menu-item-tags">
          <a href="/tags" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-tags"></i> <br />
            
            标签
          </a>
        </li>
      

      
        <li class="menu-item menu-item-search">
          
            <a href="javascript:;" class="st-search-show-outputs">
          
            
              <i class="menu-item-icon fa fa-search fa-fw"></i> <br />
            
            搜索
          </a>
        </li>
      
    </ul>
  

  
    <div class="site-search">
      
  <form class="site-search-form">
  <input type="text" id="st-search-input" class="st-search-input st-default-search-input" />
</form>

<script type="text/javascript">
  (function(w,d,t,u,n,s,e){w['SwiftypeObject']=n;w[n]=w[n]||function(){
    (w[n].q=w[n].q||[]).push(arguments);};s=d.createElement(t);
    e=d.getElementsByTagName(t)[0];s.async=1;s.src=u;e.parentNode.insertBefore(s,e);
  })(window,document,'script','//s.swiftypecdn.com/install/v2/st.js','_st');

  _st('install', 'R9GcmhBwxpsAGLNCsquZ','2.0.0');
</script>



    </div>
  
</nav>



 </div>
    </header>

    <main id="main" class="main">
      <div class="main-inner">
        <div class="content-wrap">
          <div id="content" class="content">
            

  <div id="posts" class="posts-expand">
    

  

  
  
  

  <article class="post post-type-normal " itemscope itemtype="http://schema.org/Article">
  <link itemprop="mainEntityOfPage" href="http://chrisrc.me/2017/01/25/continuos-deploy-on-dcos/">

  <span style="display:none" itemprop="author" itemscope itemtype="http://schema.org/Person">
    <meta itemprop="name" content="chrisrc">
    <meta itemprop="description" content="">
    <meta itemprop="image" content="/images/avatar.gif">
  </span>

  <span style="display:none" itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
    <meta itemprop="name" content="山中，山外与俯瞰">
    <span style="display:none" itemprop="logo" itemscope itemtype="http://schema.org/ImageObject">
      <img style="display:none;" itemprop="url image" alt="山中，山外与俯瞰" src="">
    </span>
  </span>

    
      <header class="post-header">

        
        
          <h1 class="post-title" itemprop="name headline">
            
            
              
                在DC/OS集群中实现AB测试和灰度发布
              
            
          </h1>
        

        <div class="post-meta">
          <span class="post-time">
            
              <span class="post-meta-item-icon">
                <i class="fa fa-calendar-o"></i>
              </span>
              <span class="post-meta-item-text">发表于</span>
              <time title="Post created" itemprop="dateCreated datePublished" datetime="2017-01-25T18:28:18+08:00">
                2017-01-25
              </time>
            

            

            
          </span>

          
            <span class="post-category" >
              <span class="post-meta-divider">|</span>
              <span class="post-meta-item-icon">
                <i class="fa fa-folder-o"></i>
              </span>
              <span class="post-meta-item-text">分类于</span>
              
                <span itemprop="about" itemscope itemtype="http://schema.org/Thing">
                  <a href="/categories/DC-OS/" itemprop="url" rel="index">
                    <span itemprop="name">DC/OS</span>
                  </a>
                </span>

                
                
              
            </span>
          

          
            
              <span class="post-comments-count">
                <span class="post-meta-divider">|</span>
                <a href="/2017/01/25/continuos-deploy-on-dcos/#comments" itemprop="discussionUrl">
                  <span class="post-comments-count ds-thread-count" data-thread-key="2017/01/25/continuos-deploy-on-dcos/" itemprop="commentCount"></span>
                </a>
              </span>
            
          

          

          
          

          

          

        </div>
      </header>
    


    <div class="post-body" itemprop="articleBody">

      
      

      
        <p>在软件自动化过程中，特别是敏捷开发及DevOps领域，自动部署是一个非常重要的环节。单一系统的部署与系统所采用的技术有很大的关系，通常会有对应的解决方案。但随着应用系统的复杂度不断增加，用户对系统服务持续在线的要求越来越高，同时系统也在不断向规模化，集群化方向扩展，人工部署的模式再也无法满足业务的需求。<br><a id="more"></a><br>当前常见的自动部署模式包括：蓝-绿部署（Blue-Green Deployment）和金丝雀部署（Canary Deployment）。这些部署模式仅作为系统自动部署的指导性原则，具体实践还需要与实际的技术，环境及工作流程相结合，进而支撑A/B测试和灰度发布等各种需求。</p>
<h2 id="持续部署模式"><a href="#持续部署模式" class="headerlink" title="持续部署模式"></a>持续部署模式</h2><h3 id="蓝-绿部署（Blue-Green-Deployment）"><a href="#蓝-绿部署（Blue-Green-Deployment）" class="headerlink" title="蓝-绿部署（Blue-Green Deployment）"></a>蓝-绿部署（Blue-Green Deployment）</h3><p><strong>蓝-绿部署</strong>是通过创建两个版本的应用程序（蓝色和绿色），通过在两个版本之间安全切换，确保应用提供的服务实时在线的一种方式。</p>
<p><img src="/images/blue_green_deployments.png" alt=""><br>如上图所示，应用程序的新版本（绿色）部署后，如果通过功能及性能测试，可以在当前版本（蓝色）应用处理完所有的流量、请求及待处理操作后通过路由切换的方式将新的流量、请求调度给新的版本（绿色）。如果新版应用系统（绿色）出现问题，可以及时回滚到原有版本（蓝色）；如果一切正常可以停止原有版本（蓝色），回收资源。在发布新版本时，继续重复上述操作。</p>
<p>关于蓝-绿部署的详细过程，请参考<a href="https://martinfowler.com/bliki/BlueGreenDeployment.html" target="_blank" rel="external">Martin Fowler的文章</a>。</p>
<p>蓝-绿部署的优点包括：1）上线过程对用户透明，不影响用户的体验；2）可以在生产环境对新版本进行功能和性能进行测试，便于试点；3）在新系统出现故障时，可以及时降级回滚。</p>
<h3 id="金丝雀部署（Canary-Deployment）"><a href="#金丝雀部署（Canary-Deployment）" class="headerlink" title="金丝雀部署（Canary Deployment）"></a>金丝雀部署（Canary Deployment）</h3><p>十七世纪的矿工，工作时会带一只金丝雀进入矿场，当矿井中二氧化碳浓度升高时，人类不易察觉，金丝雀会先死亡，矿工们以此作为监测二氧化碳浓度的指标。Google的Chrome浏览器提供金丝雀版本（Canary Version），并特别注明“胆小者请勿轻易尝试”。</p>
<p><img src="/images/canary-release-1.png" alt=""></p>
<p><strong>金丝雀部署</strong>作为一种测试策略，一小部分服务器被升级到一个新版本或者新配置，随后保持一定的观察期。</p>
<p><img src="/images/canary-release-2.png" alt=""></p>
<p>如果没有任何异常出现，发布过程会继续，剩余的服务器也会升级到新版本。</p>
<p><img src="/images/canary-release-3.png" alt=""></p>
<p>如果出现异常，这部分单独修改过的应用服务可以很快被回退到原来的状态。</p>
<h2 id="基于DC-OS的部署实践"><a href="#基于DC-OS的部署实践" class="headerlink" title="基于DC/OS的部署实践"></a>基于DC/OS的部署实践</h2><p>在DC/OS中实现蓝-绿部署或金丝雀部署，一种方案是需要通过Marathon和Marathon-LB配合实现。</p>
<h3 id="部署方法"><a href="#部署方法" class="headerlink" title="部署方法"></a>部署方法</h3><p><strong>前提条件</strong></p>
<ul>
<li><p>应用通过<a href="/dcos/dcos-marathon-app-deployments.html">Marathon管理部署</a>，并且实现<a href="/dcos/dcos-marathon-health-checks.html">健康检查</a>。</p>
</li>
<li><p>应用程序必须提供一个指标度量接口，以确定应用是否有任何待处理操作。例如，应用程序可以用一个全局<a href="/dcos/dcos-admin-monitoring-prometheus-concepts.html">Gauge</a>暴露当前排队的DB事务的数量。</p>
</li>
<li>安装JSON命令行处理工具-<a href="https://stedolan.github.io/jq/" target="_blank" rel="external">jq</a>（针对CLI模式）。</li>
</ul>
<p><strong>操作步骤</strong></p>
<p>下述步骤中<strong>蓝色</strong>表示应用当前版本，<strong>绿色</strong>表示应用新版本。</p>
<ol>
<li>通过Marathon部署应用的新版本。为了区分，给应用添加一个新的ID（可以使用Git的<code>Commit ID</code>），在本示例步骤中，为新应用的ID添加<code>green</code>前缀：</li>
</ol>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div></pre></td><td class="code"><pre><div class="line"># launch green</div><div class="line">dcos marathon app add green-myapp.json</div></pre></td></tr></table></figure>
<p>如果使用API调用而非CLI，需要使用如下命令：<br><figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div></pre></td><td class="code"><pre><div class="line">curl -H &quot;Content-Type: application/json&quot; -X POST -d @green-myapp.json &lt;hosturl&gt;/marathon/v2/apps</div></pre></td></tr></table></figure></p>
<ol>
<li>根据需要扩展绿色新版应用的服务实例数据到1个或多个（起始值为0）。注意，当前启动的服务实例仍未提供服务，因为还未配置负载均衡。</li>
</ol>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div></pre></td><td class="code"><pre><div class="line"># scale green</div><div class="line">dcos marathon app update /green-myapp instances=1</div></pre></td></tr></table></figure>
<ol>
<li>等待确保所有的绿色服务实例都正常启动并通过了健康检查。可以通过下述命令进行确认：</li>
</ol>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div></pre></td><td class="code"><pre><div class="line"># wait until healthy</div><div class="line">dcos marathon app show /green-myapp | jq &apos;.tasks[].healthCheckResults[] | select (.alive == false)&apos;</div></pre></td></tr></table></figure>
<ol>
<li><p>使用上述命令片段检查所有的绿色应用服务实例是否健康，如果存在任何异常，终止部署并解决问题。</p>
</li>
<li><p>将新增的绿色应用服务实例添加到负载均衡池（Marathon-LB）。</p>
</li>
<li><p>从当前蓝色应用服务中选择一个或多个实例。</p>
</li>
</ol>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div></pre></td><td class="code"><pre><div class="line"># pick tasks from blue</div><div class="line">dcos marathon task list /blue-myapp</div></pre></td></tr></table></figure>
<ol>
<li><p>更新负载均衡池配置，将上述选择的服务实例从池中移除。</p>
</li>
<li><p>等待蓝色应用服务实例不再有待处理操作。使用应用提供的指标度量接口确定是否有待处理操作。</p>
</li>
<li><p>一旦蓝色应用服务待处理的操作都已完成，通过该<a href="https://mesosphere.github.io/marathon/docs/rest-api.html#post-v2-tasks-delete" target="_blank" rel="external">API</a>杀死并缩减蓝色应用服务，参考下述命令：</p>
</li>
</ol>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div></pre></td><td class="code"><pre><div class="line"># kill and scale blue tasks</div><div class="line">echo &quot;&#123;\&quot;ids\&quot;:[\&quot;&lt;task_id&gt;\&quot;]&#125;&quot; | curl -H &quot;Content-Type: application/json&quot; -X POST -d @- &lt;hosturl&gt;/marathon/v2/tasks/delete?scale=true</div></pre></td></tr></table></figure>
<p>此命令将删除特定实例（具有0个待处理操作的实例），并防止它们重新启动。</p>
<ol>
<li><p>重复上述2-9步骤直至蓝色应用服务不再有实例运行。</p>
</li>
<li><p>监控绿色应用服务状态（持续一段时间），确认一切正常，从DC/OS集群中移除蓝色应用服务。</p>
</li>
</ol>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div></pre></td><td class="code"><pre><div class="line"># remove blue</div><div class="line">dcos marathon app remove /blue-myapp</div></pre></td></tr></table></figure>
<p>在生产环境中，通常使用脚本将上述过程集成到部署系统中实现过程的自动化控制。</p>
<h3 id="部署脚本"><a href="#部署脚本" class="headerlink" title="部署脚本"></a>部署脚本</h3><p>Marathon-LB针对上述部署方法提供了一个部署脚本<a href="https://github.com/mesosphere/marathon-lb/blob/master/zdd.py" target="_blank" rel="external">zdd.py</a>，通过该脚本可以实现零宕机部署（Zero-downtime Deployments）。</p>
<p>使用该脚本必须满足以下条件：</p>
<ul>
<li><p>在应用的Marathon定义中设定<code>HAPROXY_DEPLOYMENT_GROUP</code> 和 <code>HAPROXY_DEPLOYMENT_ALT_PORT</code>两个标签（label）。</p>
</li>
<li><p><code>HAPROXY_DEPLOYMENT_GROUP</code>：此标签唯一标识一对属于蓝色/绿色部署的应用程序，并将用作HAProxy配置中的应用程序名称。</p>
</li>
<li><p><code>HAPROXY_DEPLOYMENT_ALT_PORT</code>：需要一个额外的服务端口，因为Marathon要求服务端口在所有应用程序中是唯一的。</p>
</li>
<li><p>当前只支持一个服务端口。</p>
</li>
<li><p>ZDD脚本会调用Marathon的API并使用HAProxy的状态接口来正常终止实例。</p>
</li>
<li><p>Marathon-LB容器必须以<code>privileged</code>模式运行（需要执行<code>iptables</code>命令）。</p>
</li>
<li><p>如果负责应用负载的HAProxy实例同时管理了TCP长连接，可能导致部署花费超出必要的时间。该脚本默认情况下设置5分钟等待HAProxy负载的连接逐步断开，但任何TCP长连接将导致HAProxy实例无法终止。</p>
</li>
</ul>
<p>零宕机部署使用Lua模块来完成，该模块通过<code>/_haproxy_getpids</code>接口获取的HAProxy进程状态来报告当前正在运行的HAProxy进程数。</p>
<p>一个警告是，如果在同一个LB上有任何长连接，HAProxy将继续运行为这些连接提供服务，直到它们停止，这会导致部署过程无法完成。</p>
<h3 id="脚本应用"><a href="#脚本应用" class="headerlink" title="脚本应用"></a>脚本应用</h3><p>使用该脚本可以实现蓝色/绿色应用程序两个版本同时运行并分割两者之间的流量。要实现此功能，需要设置<code>HAPROXY_DEPLOYMENT_NEW_INSTANCES</code>标签。</p>
<p>执行ZDD脚本时，通过参数<code>--new-instances</code>可以指定创建新版本应用程序的实例数并同时删除相同数量的旧版本应用程序实例（设定值等于旧应用程序实例数时，就是创建所有新应用程序实例并删除所有旧应用程序实例），以确保新应用程序和旧应用程序中的实例数之和等于<code>HAPROXY_DEPLOYMENT_TARGET_INSTANCES</code>的设定值。</p>
<p>示例：考虑相同的Nginx应用程序示例，其中有10个Nginx运行镜像版本<code>v1</code>的实例，现在我们可以使用ZDD创建版本<code>v2</code>的2个实例，并保留<code>v1</code>的8个实例，以便流量以比例80:20（旧：新）分割。</p>
<p>创建2个新应用程序实例并自动删除2个旧应用程序实例，可以使用如下命令：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div></pre></td><td class="code"><pre><div class="line">$ ./zdd.py -j 1-nginx.json -m http://master.mesos:8080 -f -l http://marathon-lb.marathon.mesos:9090 --syslog-socket /dev/null --new-instances 2</div></pre></td></tr></table></figure>
<p>同时存在同一个应用程序的旧版本和新版本的实例的状态称之为<strong>混合状态</strong>。</p>
<p>当部署处于混合状态时，在部署任何其他版本之前，需要将其全部转换为新版本或全部为旧版本。这可以通过ZDD提供的<code>--complete-cur</code>(<code>-c</code>)和<code>--complete-prev</code>(<code>-p</code>)两个参数实现。</p>
<p>运行以下命令时，它将所有实例转换为新版本，以便流量拆分比例变为0：100（旧：新），并删除旧应用程序。这个过程是优雅的，因为ZDD会等待任务/实例停止服务之后再删除它们。</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div></pre></td><td class="code"><pre><div class="line">$ ./zdd.py -j 1-nginx.json -m http://master.mesos:8080 -f -l http://marathon-lb.marathon.mesos:9090 --syslog-socket /dev/null --complete-cur</div></pre></td></tr></table></figure>
<p>类似地，可以使用<code>--complete-prev</code>参数将所有实例转换为旧版本（这本质上是一个回滚），以便流量分流比变为100：0（旧：新），并删除新的应用程序。</p>
<p>当前只支持一次流量分割，因此只有当应用程序的所有实例具有相同版本（完全蓝色或完全绿色）时，才可以指定新实例的数量（与流量分流比成正比）。这意味着不能在混合模式中指定<code>-new-instances</code>参数来更改流量拆分比例（实例比），因为当前更新Marathon标签（HAPROXY_DEPLOYMENT_NEW_INSTANCES）会触发新的部署。目前对于上述示例，服务实例拆分比是100:0 -&gt; 80:20 -&gt; 0:100，其中两个版本同时存在服务实例时的中间过渡状态只有一次。</p>
<p>上述示例的Marathon应用JSON定义示例：</p>
<figure class="highlight json"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div><div class="line">6</div><div class="line">7</div><div class="line">8</div><div class="line">9</div><div class="line">10</div><div class="line">11</div><div class="line">12</div><div class="line">13</div><div class="line">14</div><div class="line">15</div><div class="line">16</div><div class="line">17</div><div class="line">18</div><div class="line">19</div><div class="line">20</div><div class="line">21</div><div class="line">22</div><div class="line">23</div><div class="line">24</div><div class="line">25</div><div class="line">26</div><div class="line">27</div><div class="line">28</div><div class="line">29</div><div class="line">30</div><div class="line">31</div><div class="line">32</div></pre></td><td class="code"><pre><div class="line">&#123;</div><div class="line">    <span class="attr">"id"</span>: <span class="string">"nginx"</span>,</div><div class="line">    <span class="attr">"container"</span>: &#123;</div><div class="line">        <span class="attr">"type"</span>: <span class="string">"DOCKER"</span>,</div><div class="line">        <span class="attr">"docker"</span>: &#123;</div><div class="line">            <span class="attr">"image"</span>: <span class="string">"brndnmtthws/nginx-echo-sleep"</span>,</div><div class="line">            <span class="attr">"network"</span>: <span class="string">"BRIDGE"</span>,</div><div class="line">            <span class="attr">"portMappings"</span>: [</div><div class="line">                &#123; <span class="attr">"hostPort"</span>: <span class="number">0</span>, <span class="attr">"containerPort"</span>: <span class="number">8080</span>, <span class="attr">"servicePort"</span>: <span class="number">10000</span> &#125;</div><div class="line">            ],</div><div class="line">            <span class="attr">"forcePullImage"</span>:<span class="literal">true</span></div><div class="line">        &#125;</div><div class="line">    &#125;,</div><div class="line">    <span class="attr">"instances"</span>: <span class="number">5</span>,</div><div class="line">    <span class="attr">"cpus"</span>: <span class="number">0.1</span>,</div><div class="line">    <span class="attr">"mem"</span>: <span class="number">65</span>,</div><div class="line">    <span class="attr">"healthChecks"</span>: [&#123;</div><div class="line">        <span class="attr">"protocol"</span>: <span class="string">"HTTP"</span>,</div><div class="line">        <span class="attr">"path"</span>: <span class="string">"/"</span>,</div><div class="line">        <span class="attr">"portIndex"</span>: <span class="number">0</span>,</div><div class="line">        <span class="attr">"timeoutSeconds"</span>: <span class="number">15</span>,</div><div class="line">        <span class="attr">"gracePeriodSeconds"</span>: <span class="number">15</span>,</div><div class="line">        <span class="attr">"intervalSeconds"</span>: <span class="number">3</span>,</div><div class="line">        <span class="attr">"maxConsecutiveFailures"</span>: <span class="number">10</span></div><div class="line">    &#125;],</div><div class="line">    <span class="attr">"labels"</span>:&#123;</div><div class="line">        <span class="attr">"HAPROXY_DEPLOYMENT_GROUP"</span>:<span class="string">"nginx"</span>,</div><div class="line">        <span class="attr">"HAPROXY_DEPLOYMENT_ALT_PORT"</span>:<span class="string">"10001"</span>,</div><div class="line">        <span class="attr">"HAPROXY_GROUP"</span>:<span class="string">"external"</span></div><div class="line">    &#125;,</div><div class="line">    <span class="attr">"acceptedResourceRoles"</span>:[<span class="string">"*"</span>, <span class="string">"slave_public"</span>]</div><div class="line">&#125;</div></pre></td></tr></table></figure>
<p>除了上述方案，也可以通过其他工具实现此过程，如<a href="http://vamp.io/" target="_blank" rel="external">Vamp</a>，<a href="https://github.com/Dataman-Cloud/swan" target="_blank" rel="external">Swan</a> 和 <a href="https://linkerd.io" target="_blank" rel="external">Linkerd</a>等，详细信息请参考后续章节。</p>
<h2 id="参考"><a href="#参考" class="headerlink" title="参考"></a>参考</h2><ul>
<li><p><a href="https://martinfowler.com/bliki/BlueGreenDeployment.html" target="_blank" rel="external">https://martinfowler.com/bliki/BlueGreenDeployment.html</a></p>
</li>
<li><p><a href="https://martinfowler.com/bliki/CanaryRelease.html" target="_blank" rel="external">https://martinfowler.com/bliki/CanaryRelease.html</a></p>
</li>
<li><p><a href="https://github.com/mesosphere/marathon/blob/master/docs/docs/blue-green-deploy.md" target="_blank" rel="external">https://github.com/mesosphere/marathon/blob/master/docs/docs/blue-green-deploy.md</a></p>
</li>
<li><p><a href="https://github.com/mesosphere/marathon-lb" target="_blank" rel="external">https://github.com/mesosphere/marathon-lb</a></p>
</li>
</ul>

      
    </div>

    <div>
      
        

      
    </div>

    <div>
      
        

      
    </div>


    <footer class="post-footer">
      
        <div class="post-tags">
          
            <a href="/tags/jenkins/" rel="tag"># jenkins</a>
          
            <a href="/tags/docker/" rel="tag"># docker</a>
          
            <a href="/tags/mesos/" rel="tag"># mesos</a>
          
            <a href="/tags/dcos/" rel="tag"># dcos</a>
          
            <a href="/tags/marathon/" rel="tag"># marathon</a>
          
            <a href="/tags/Nginx/" rel="tag"># Nginx</a>
          
            <a href="/tags/Gitlab/" rel="tag"># Gitlab</a>
          
            <a href="/tags/蓝绿部署/" rel="tag"># 蓝绿部署</a>
          
            <a href="/tags/金丝雀部署/" rel="tag"># 金丝雀部署</a>
          
            <a href="/tags/AB测试/" rel="tag"># AB测试</a>
          
            <a href="/tags/灰度发布/" rel="tag"># 灰度发布</a>
          
            <a href="/tags/Canary/" rel="tag"># Canary</a>
          
        </div>
      

      
        <div class="post-nav">
          <div class="post-nav-next post-nav-item">
            
              <a href="/2017/01/18/gitbook-publish-on-dcos/" rel="next" title="在DC/OS集群中自动发布Gitbook">
                <i class="fa fa-chevron-left"></i> 在DC/OS集群中自动发布Gitbook
              </a>
            
          </div>

          <span class="post-nav-divider"></span>

          <div class="post-nav-prev post-nav-item">
            
              <a href="/2017/02/05/cassandra-basic-concepts/" rel="prev" title="Cassandra中的基本概念（转）">
                Cassandra中的基本概念（转） <i class="fa fa-chevron-right"></i>
              </a>
            
          </div>
        </div>
      

      
      
    </footer>
  </article>



    <div class="post-spread">
      
        <div class="ds-share flat" data-thread-key="2017/01/25/continuos-deploy-on-dcos/"
     data-title="在DC/OS集群中实现AB测试和灰度发布"
     data-content=""
     data-url="http://chrisrc.me/2017/01/25/continuos-deploy-on-dcos/">
  <div class="ds-share-inline">
    <ul  class="ds-share-icons-16">

      <li data-toggle="ds-share-icons-more"><a class="ds-more" href="javascript:void(0);">分享到：</a></li>
      <li><a class="ds-weibo" href="javascript:void(0);" data-service="weibo">微博</a></li>
      <li><a class="ds-qzone" href="javascript:void(0);" data-service="qzone">QQ空间</a></li>
      <li><a class="ds-qqt" href="javascript:void(0);" data-service="qqt">腾讯微博</a></li>
      <li><a class="ds-wechat" href="javascript:void(0);" data-service="wechat">微信</a></li>

    </ul>
    <div class="ds-share-icons-more">
    </div>
  </div>
</div>
      
    </div>
  </div>


          </div>
          


          
  <div class="comments" id="comments">
    
      <div class="ds-thread" data-thread-key="2017/01/25/continuos-deploy-on-dcos/"
           data-title="在DC/OS集群中实现AB测试和灰度发布" data-url="http://chrisrc.me/2017/01/25/continuos-deploy-on-dcos/">
      </div>
    
  </div>


        </div>
        
          
  
  <div class="sidebar-toggle">
    <div class="sidebar-toggle-line-wrap">
      <span class="sidebar-toggle-line sidebar-toggle-line-first"></span>
      <span class="sidebar-toggle-line sidebar-toggle-line-middle"></span>
      <span class="sidebar-toggle-line sidebar-toggle-line-last"></span>
    </div>
  </div>

  <aside id="sidebar" class="sidebar">
    <div class="sidebar-inner">

      

      
        <ul class="sidebar-nav motion-element">
          <li class="sidebar-nav-toc sidebar-nav-active" data-target="post-toc-wrap" >
            文章目录
          </li>
          <li class="sidebar-nav-overview" data-target="site-overview">
            站点概览
          </li>
        </ul>
      

      <section class="site-overview sidebar-panel">
        <div class="site-author motion-element" itemprop="author" itemscope itemtype="http://schema.org/Person">
          <img class="site-author-image" itemprop="image"
               src="/images/avatar.gif"
               alt="chrisrc" />
          <p class="site-author-name" itemprop="name">chrisrc</p>
          <p class="site-description motion-element" itemprop="description"></p>
        </div>
        <nav class="site-state motion-element">
          <div class="site-state-item site-state-posts">
            <a href="/archives">
              <span class="site-state-item-count">69</span>
              <span class="site-state-item-name">日志</span>
            </a>
          </div>

          
            <div class="site-state-item site-state-categories">
              <a href="/categories">
                <span class="site-state-item-count">21</span>
                <span class="site-state-item-name">分类</span>
              </a>
            </div>
          

          
            <div class="site-state-item site-state-tags">
              <a href="/tags">
                <span class="site-state-item-count">162</span>
                <span class="site-state-item-name">标签</span>
              </a>
            </div>
          

        </nav>

        

        <div class="links-of-author motion-element">
          
            
              <span class="links-of-author-item">
                <a href="https://github.com/christtrc" target="_blank" title="GitHub">
                  
                    <i class="fa fa-fw fa-github"></i>
                  
                  GitHub
                </a>
              </span>
            
              <span class="links-of-author-item">
                <a href="https://twitter.com/chrisrc" target="_blank" title="Twitter">
                  
                    <i class="fa fa-fw fa-twitter"></i>
                  
                  Twitter
                </a>
              </span>
            
          
        </div>

        
        
          <div class="cc-license motion-element" itemprop="license">
            <a href="https://creativecommons.org/licenses/by-nc-sa/4.0/" class="cc-opacity" target="_blank">
              <img src="/images/cc-by-nc-sa.svg" alt="Creative Commons" />
            </a>
          </div>
        

        
        

        


      </section>

      
      <!--noindex-->
        <section class="post-toc-wrap motion-element sidebar-panel sidebar-panel-active">
          <div class="post-toc">

            
              
            

            
              <div class="post-toc-content"><ol class="nav"><li class="nav-item nav-level-2"><a class="nav-link" href="#持续部署模式"><span class="nav-number">1.</span> <span class="nav-text">持续部署模式</span></a><ol class="nav-child"><li class="nav-item nav-level-3"><a class="nav-link" href="#蓝-绿部署（Blue-Green-Deployment）"><span class="nav-number">1.1.</span> <span class="nav-text">蓝-绿部署（Blue-Green Deployment）</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#金丝雀部署（Canary-Deployment）"><span class="nav-number">1.2.</span> <span class="nav-text">金丝雀部署（Canary Deployment）</span></a></li></ol></li><li class="nav-item nav-level-2"><a class="nav-link" href="#基于DC-OS的部署实践"><span class="nav-number">2.</span> <span class="nav-text">基于DC/OS的部署实践</span></a><ol class="nav-child"><li class="nav-item nav-level-3"><a class="nav-link" href="#部署方法"><span class="nav-number">2.1.</span> <span class="nav-text">部署方法</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#部署脚本"><span class="nav-number">2.2.</span> <span class="nav-text">部署脚本</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#脚本应用"><span class="nav-number">2.3.</span> <span class="nav-text">脚本应用</span></a></li></ol></li><li class="nav-item nav-level-2"><a class="nav-link" href="#参考"><span class="nav-number">3.</span> <span class="nav-text">参考</span></a></li></ol></div>
            

          </div>
        </section>
      <!--/noindex-->
      

    </div>
  </aside>


        
      </div>
    </main>

    <footer id="footer" class="footer">
      <div class="footer-inner">
        <div class="copyright" >
  
  &copy;  2015 - 
  <span itemprop="copyrightYear">2017</span>
  <span class="with-love">
    <i class="fa fa-heart"></i>
  </span>
  <span class="author" itemprop="copyrightHolder">
     
      <a href="mailto:chrisrc@qq.com">chrisrc</a> 
    
  </span>
  <span class="author"> &nbsp; QQ: 58122705 </span>
</div>


<div class="powered-by">
  由 <a class="theme-link" href="https://hexo.io">Hexo</a> 强力驱动
</div>

<div class="theme-info">
  主题 -
  <a class="theme-link" href="https://github.com/iissnan/hexo-theme-next">
    NexT.Mist
  </a>
</div>


        

        
      </div>
    </footer>

    <div class="back-to-top">
      <i class="fa fa-arrow-up"></i>
    </div>
  </div>

  

<script type="text/javascript">
  if (Object.prototype.toString.call(window.Promise) !== '[object Function]') {
    window.Promise = null;
  }
</script>









  



  
  <script type="text/javascript" src="/lib/jquery/index.js?v=2.1.3"></script>

  
  <script type="text/javascript" src="/lib/fastclick/lib/fastclick.min.js?v=1.0.6"></script>

  
  <script type="text/javascript" src="/lib/jquery_lazyload/jquery.lazyload.js?v=1.9.7"></script>

  
  <script type="text/javascript" src="/lib/velocity/velocity.min.js?v=1.2.1"></script>

  
  <script type="text/javascript" src="/lib/velocity/velocity.ui.min.js?v=1.2.1"></script>

  
  <script type="text/javascript" src="/lib/fancybox/source/jquery.fancybox.pack.js?v=2.1.5"></script>


  


  <script type="text/javascript" src="/js/src/utils.js?v=5.1.0"></script>

  <script type="text/javascript" src="/js/src/motion.js?v=5.1.0"></script>



  
  

  
  <script type="text/javascript" src="/js/src/scrollspy.js?v=5.1.0"></script>
<script type="text/javascript" src="/js/src/post-details.js?v=5.1.0"></script>



  


  <script type="text/javascript" src="/js/src/bootstrap.js?v=5.1.0"></script>



  

  
    
  

  <script type="text/javascript">
    var duoshuoQuery = {short_name:"chrisrc"};
    (function() {
      var ds = document.createElement('script');
      ds.type = 'text/javascript';ds.async = true;
      ds.id = 'duoshuo-script';
      ds.src = (document.location.protocol == 'https:' ? 'https:' : 'http:') + '//static.duoshuo.com/embed.js';
      ds.charset = 'UTF-8';
      (document.getElementsByTagName('head')[0]
      || document.getElementsByTagName('body')[0]).appendChild(ds);
    })();
  </script>

  
    
    
    <script src="/lib/ua-parser-js/dist/ua-parser.min.js?v=0.7.9"></script>
    <script src="/js/src/hook-duoshuo.js"></script>
  








  
  

  

  

  
<script>
(function(){
    var bp = document.createElement('script');
    var curProtocol = window.location.protocol.split(':')[0];
    if (curProtocol === 'https') {
        bp.src = 'https://zz.bdstatic.com/linksubmit/push.js';        
    }
    else {
        bp.src = 'http://push.zhanzhang.baidu.com/push.js';
    }
    var s = document.getElementsByTagName("script")[0];
    s.parentNode.insertBefore(bp, s);
})();
</script>


  
<script>
(function(){
   var src = (document.location.protocol == "http:") ? "http://js.passport.qihucdn.com/11.0.1.js?ed903ab05fbc5fa64d95e4bfbf3d3a04":"https://jspassport.ssl.qhimg.com/11.0.1.js?ed903ab05fbc5fa64d95e4bfbf3d3a04";
   document.write('<script src="' + src + '" id="sozz"><\/script>');
})();
</script>

  


</body>
</html>
